데이터센터의 역사와 문제점
ABLESTACK은 x86 기반의 서버와 가상화 기술, 그리고 소프트웨어 정의 기술을 접목하여 HCI를 구성하는 소프트웨어 스택입니다. ABLESTACK은 현대의 데이터센터가 직면한 문제를 해결하고, 보다 혁신적이고 효율적인 인프라 환경을 기업의 데이터센터에 제공하기 위해서 탄생했습니다. 본 제품의 기본적인 아키텍처 및 상세한 구성요소별 아키텍처를 이해하기 위해서는 먼저 ABLESTACK이 어떤 문제의식을 가지고 만들어 졌으며, 그 지향점이 무엇인지를 이해하는 것이 매우 중요합니다.
본 장에서는 본격적으로 ABLESTACK의 지향점과 이를 실현하기 위한 기술적 아키텍처를 설명하기 전에 ABLESTACK이 가진 문제의식이 무엇인지를 설명합니다. 이를 위해 현대의 IT 환경에서 기업의 데이터센터가 직면한 문제점에 대해 먼저 설명하고자 합니다.
데이터센터란 무엇인가?¶
데이터센터는 인터넷 데이터센터(IDC), 또는 서버호텔이라고도 부르며 서버, 네트워크, 스토리지 등 IT 서비스 제공에 필요한 장비를 한 건물 안에 모아 24시간 265일 운영하고 통합 관리하는 시설을 말합니다. 서버와 스토리지 같은 하드웨어들을 효과적이면서도 안정적으로 운영하기 위해 고도화된 전원 관리 시스템이나 고대역 네트워크 환경은 물론 백업 시스템, 보안 시스템, 공조 시스템을 비롯해 화재는 물론 폭우나 태풍 같은 환경 재해를 극복할 수 있는 시설을 갖추고 있습니다.
데이터센터의 역사¶
오늘날 서버라고 부르는 기기는 1980년대에는 Micro Computer나 Mini Computer라고 불렀습니다. 수십 년 전의 컴퓨터는 워낙 거대했기 때문에 작은 방 하나 정도를 가득 채울 만한 크기의 컴퓨터는 Mini Computer라 불렀습니다. 당시에 이런 기기들은 운영 편의성보다는 사용자 접근성에 중점을 두어 주로 사용자가 있는 곳에 설치하여 사용했습니다.
그러다가 산발적으로 흩어져 있는 자원을 한 곳에 모아서 관리하는 방법을 고민하기 시작했습니다. 그 결과로 1990년 대에는 데이터 센터의 초창기 형태라 할 수 있는 전산실 설비가 각 기업에 등장하기 시작했습니다. 이런 전산실은 표준화된 케이블링(cabling), 계층화된 네트워크 장비를 사용했습니다.
데이터 센터가 본격적으로 등장한 때는 1990년 대 말과 2000년 대 초반 사이의 닷컴버블 시대입니다. 규모가 작은 벤처 기업 입장은 비용상의 문제로 독자적인 전산실을 운영할 수 없는 상황이었고, 이런 벤처 기업의 수가 폭발적으로 증가하자 현재와 같은 IDC(Internet Data Center) 비즈니스가 태동하게 되었습니다. 그 후 점점 IDC 운영이 전문화되고 많은 수의 서버를 운영해야 하는 큰 기업도 자체 전산실과 함께 전문화된 IDC를 이용하는 것이 효율성과 품질면에서 나아지게 됨에 따라, 닷컴버블 이후에도 지속적으로 IDC는 계속 성장해 왔습니다.
일반적인 공장에서 단위 시간당 생산량 등을 기준으로 공장의 효율성을 평가하듯이, IDC에서는 얼마나 많은 서버를 안정적으로 운영할 수 있는지가 중요한 척도입니다. 당연히 IDC는 많은 서버를 효과적으로 운영할 수 있는 방법 위주로 발전하기 시작했으며, 대규모 환경(large-scale 운영 환경)에 대한 요구도 지속적으로 발생했습니다. 또한 최근에는 초대규모(hyper-scale) 환경을 요구하는 등 데이터 급증 및 IT 서비스 급증에 따른 새로운 개념의 데이터센터가 지속적으로 요구되고 있습니다. 또한 새로운 기술들이 속속 데이터 센터에 도입되면서 데이터 센터는 계속 발전해 왔습니다.
요즘 데이터 센터를 변화시키는 핵심 화두는 클라우드 입니다. 수요에 탄력적으로 대응하면서 필요한 만큼만 인프라를 사용하도록 하는 IaaS(Infrastructure as a Service), PaaS(Platform as a Service), SaaS(Soft as a Service) 등과 같은 서비스가 부상하면서, 데이터 센터 또한 DcaaS(Data Center as a Service)라는 이름으로 클라우드 기술을 적용하고 있습니다. 수요에 탄력적으로 대응할 수 있도록 수 분만에 신규 기기를 투입할 수 있는 기술들이 DCaaS에 소개되고 있습니다.
효과적인 데이터센터 운영요소¶
현대의 IT 환경은 모바일, IoT, 빅데이터, AI 등을 활용한 애플리케이션의 폭증으로 인해 방대한 서버 인프라를 필요로 하고, 이러한 인프라가 폭증하는 상황에 처해 있습니다. 그리고 이러한 환경 가운데에서도 효과적으로 다양한 사용자에 대한 IT서비스를 제공해야 합니다. 기업 데이터센터는 효율적인 데이터센터의 운영을 위해 다음의 운영 요소를 만족해야 합니다.
안정성¶
데이터센터 운영에 있어서 안정성은 가장 중요한 요소입니다. 데이터센터 표준화 단체인 TIA(Telecommunications Industry Association)에서는 데이터센터 가용성에 대한 신뢰도에 따라 데이터센터를 등급화 하고 있습니다. 등급의 단계는 총 4단계로 이루어지는데 다음과 같습니다.
- Tier 1 - 리던던트(Redundant) 구성요소가 없음, 99.671% 가용성
- 계획/비계획적인 활동에 따른 장애 가능성 있음
- 전력 공급과 냉각, 네트워크 등이 단일 경로화 되어 있음
- 예방 유지 보수를 수행하기 위해 셧다운해야 함
- 연간 28.8 시간의 다운타임
- Tier 2 - 리던던트 구성요소, 99.741% 가용성
- 계획/비계획적인 활동에 따른 장애 가능성이 Tier 1에 비해 낮음
- 전력과 냉각 설비는 리던던트 구성으로 되어 있으나 이에 대한 공급 경로는 단일 경로로 되어 있음
- Raised Floor, UPS 및 발전기 포함
- 연간 22.0 시간의 다운타임
- Tier 3 - Concurrent 유지 보수 환경, 99.982% 가용성
- 전산 시스템에 대한 영향 없이 정기 예방 점검과 유지 보수와 같은 계획된 활동이 가능함 (비계획 활동의 경우에는 장애를 유발시킬 수 있음)
- 전력과 냉각, 네트워크 등의 공급경로의 복수 구성, 하나는 액티브 경로, 리던던트 구성
- 연간 1.6시간의 다운타임
- Tier 4 - Fault Tolerant, 99.995% 가용성
- 계획된 활동은 핵심 운영에 영향을 주지 않으며, 예상치 못한 최악의 사고가 발생해도 핵심 부하에 영향을 주지는 않음
- 복수의 액티브 전력 및 냉각, 네트워크 경로
- 연간 0.4 시간의 다운타임
데이터센터는 궁극적으로 Tier 4에 도달할 수 있도록 구축되길 원하게 됩니다. Tier 4에 도달한 데이터센터는 높은 가용성을 보장하여 서비스의 안정성을 높이고, 엔지니어의 관여 없이도 인프라를 운영할 수 있도록 함으로써 효율성을 높이는 것을 목표로 합니다. 하지만 Tier 3에 도달하는 것도, 그리고 궁극적으로 Tier 4에 도달하는 것은 두배 이상의 면적, 두배 이상의 전력 공급 경로, 두배 이상의 구축 비용을 필요로 하게 되는 문제점을 갖고 있습니다.
신속성¶
모바일 환경의 전면적 확대 및 빅데이터를 기반으로하는 새로운 IT 서비스의 제공, 짧은 생명주기의 애플리케이션의 출현 등의 현대 IT 환경의 특징은 데이터센터에게 지속적인 변화와 대응을 요구하게 됩니다. 빠르게 필요한 서버를 배포하고, 네트워크를 구성할 수 있어야 합니다.
또한 애플리케이션의 생명주기가 짧기 때문에 다양한 애플리케이션에 대한 개발환경을 제공해 줘야 하고, 개발된 결과를 빠르게 운영에 반영할 수 있어야 합니다. 기업의 데이터센터는 이러한 요구에 대응할 수 있도록 하기 위해 보다 더 유연한 인프라를 구성해서 운영해야 합니다.
하지만 전통적인 데이터센터는 애플리케이션과 인프라가 밀접하게 연관되어 있기 때문에 애플리케이션의 변화에 효과적으로 대응할 수 없으며, 대응에 소요되는 시간도 많이 소요되는 문제점을 갖고 있습니다. 또한 개발환경에서 운영환경으로의 빠른 전환이 필요한데, 개발자와 시스템 운영자가 서로 분리 또는 격리되어 있는 경우가 빈번하게 발생합니다.
확장성¶
빅데이터 환경이 보편화 됨에 따라 기업의 데이터는 더 이상 백업 데이터로 뒷전에 밀려나지 않고, 계속해서 현재의 시스템에 영향을 주는 데이터로 남아 있게 됩니다. 즉, 시간이 지나면 지날 수록 더 많은 용량의 데이터를 보관하고 운영해야 합니다. 또한 다양한 서비스를 운영하게 됨에 따라 더 많은 사용자를 처리해야 합니다.
따라서 데이터센터는 인프라를 쉽게 확장할 수 있어야 합니다. 확장성에는 당연히 안정성을 담보해야 합니다. 즉, 확장하는 가운데에도 서비스는 계속해서 유지되어야 합니다. 데이터센터는 IT서비스를 제공하기 위해 다양한 인프라가 하나의 애플리케이션 단위로 유기적인 결합을 하고 있는 경우가 대부분입니다 따라서 확장성을 제공하는 데 많은 제약이 있습니다. 네트워크 확장, 서버 확장, 스토리지 확장 등 다양한 구성 요소에 대한 확장이 수반되어야 하고, 경우에 따라 상면과 전력 등의 확장도 필요하게 됩니다. 즉, 인프라의 확장을 안정성을 담보해 수행하는데 많은 기술적, 물리적 어려움을 갖게 되는 것입니다.
일관성¶
데이터센터는 수많은 네트워크 스위치, 서버, 스토리지로 구성되는 복잡한 패브릭의 집합체입니다. 이러한 인프라를 도입하고 관리함에 있어서 일관성 있는 정책의 운영은 필수적입니다. 서버의 운영 정책, 네트워크의 구성 정책, 전원 관리 정책, 가용성 유지를 위한 정책 등 다양한 관리 정책이 존재할 수 있고, 이러한 정책에 의해 운영되는 데이터센터 일수록 더 효율적이며 안정적이라고 판단할 수 있습니다. 실제로 일관성 있는 시스템이 운영되면 장애가 발생하는 경우에도 빠르게 장애를 복구할 수 있게 됩니다. 또한 신규 시스템을 도입하고 확장할 때에도 일관성 있는 정책에 의해 도입/확장 되기 때문에 시간을 단축할 수 있습니다.
또한 시스템의 특성에 따라 일관성 있는 인프라 배포 정책, 관리 정책을 보유하고 있어야 하며, 이러한 정책이 데이터센터를 관리하는 모든 관리 엔지니어에게 공유될 수 있어야 합니다.
가시성¶
수많은 서버와 네트워크 장비, 그리고 스토리지가 운영되는 환경이기 때문에 서로 다른 애플리케이션을 운영하는 인프라를 운영하는 데에는 많은 인력과, 그 인력의 기술적 노하우를 필요로 합니다. 또한 네트워크, 서버, 스토리지별로 관리하는 방법이 다르기 때문에 해당 분야의 전문 엔지니어도 필요하게 됩니다.
이러한 엔지니어 의존성은 시간이 지나면서 인프라가 많아지고 다양해 지면서 더 높아지게 됩니다. 따라서 효율적인 데이터센터 운영을 위해서는 인프라 관리 방법의 자산화와 자동화가 반드시 필요하게 됩니다. 또한 애플리케이션 단위로 다양한 인프라를 갖게 되는데, 이러한 인프라는 상호 연관성이 있기 때문에 이러한 복잡한 구성 정보를 관리할 수 있는 체계가 필요하게 됩니다.
이러한 필요에 의해 통합된 가시성을 제공하는 관리시스템이 데이터센터에는 필요하게 됩니다. 인프라를 모니터링하고, 자원을 시각적으로 보여주며, 다양한 관리 지식을 자산화 하고 이를 자동화하여 실행하는 체계는 데이터센터 운영에 있어서 필수적인 요소가 됩니다.
데이터센터 운영이 어려운 원인¶
위에서 제시한 데이터센터 운영 요건을 실현하는데 있어서 실제로는 많은 어려움을 겪고 있습니다. 또한 급속도로 발전하는 IT 환경에 비해 IT 인프라를 관리하는 데이터센터의 대응은 이러한 운영의 어려움으로 인해 문제점이 날로 커져가고 있습니다. 기업 데이터센터 운영에 있어서 어려움이 발생하는 원인은 다음과 같습니다.
복잡한 인프라 구성¶
기업의 데이터센터는 애플리케이션을 실행하고 서비스 하기 위해 수많은 서버와 네트워크 장비, 스토리지로 연결되어 있습니다. 애플리케이션이 늘어날 수록 그 복잡도는 계속 높아지며, 그로 인해 매우 높은 관리 역량을 필요로 하게 됩니다. 또한 복잡한 인프라 패브릭으로 인해 시스템에 대한 가시성이 매우 떨어지게 됩니다.
단순히 애플리케이션과 그에 대응하는 인프라 때문에 인프라 패브릭이 복잡해 지는 것이 아닙니다. 안정성을 제공하기 위해서는 매우 복잡한 구성을 해야 합니다. 서버 이중화 구성, 네트워크 이중화 구성, 스토리지 미러링, 백업 체계 등 다양한 인프라 안정성 보장을 위한 구성이 필요하고, 이러한 구성은 인프라의 복잡도를 가중시키는 가장 중요한 요소가 됩니다.
인프라의 경직성¶
애플리케이션 단위로 물리적으로 서버와 스토리지, 스위치가 구성되면, 이러한 물리적 구성을 다른 애플리케이션을 위해 사용하는 것은 거의 불가능합니다. 따라서 새로운 애플리케이션을 준비하기 위해서는 애플리케이션을 위한 물리적인 인프라를 따로 준비해야 하고, 더불어 개발을 위한 환경도 준비해야 하기 때문에 준비 과정에 많은 시간이 소요 됩니다.
이러한 인프라의 경직성은 애플리케이션이 증가함에 따라 인프라가 계속해서 증가하는 문제를 가지게 되고, 또한 인프라를 도입하는데 많은 시간이 소요되며, 애플리케이션을 개발하는 것도 준비 과정을 거쳐야 하기 때문에 신속하게 애플리케이션을 개발하거나, 테스트하는데 있어서 많은 제약이 따르게 되어 서비스의 경쟁력도 저하시키는 원인이 됩니다.
최신의 IT 환경은 빅데이터 환경을 기반으로 하기 때문에 시간이 지나면 지날 수록 데이터가 증가하는 현상을 보입니다. 때문에 연산능력과 저장공간을 서비스에 영향을 주지 않고 확장해야 할 필요가 발생합니다. 이러한 경우 인프라의 경직성은 확장에 있어서 심각한 결함을 가지고 있습니다. 전통적인 데이터센터는 결국 최신의 IT 환경 변화에 능동적으로 대응하는데 한계가 있습니다.
고비용이 소요되는 가용성 제공 환경¶
데이터센터를 운영하는 가장 중요한 이유 중 하나는 안정적인 인프라 운영 환경을 제공하기 때문입니다. 전원, 공조 등의 환경적인 요소가 안정적으로 제공되기 위해서도 데이터센터 공간에 막대한 비용 투자가 발생하지만, 서버, 네트워크, 스토리지 등의 인프라에 대한 안정성을 높이기 위해서도 물리적인 이중화가 필수적으로 적용되야 합니다.
이러한 고가용성 구조는 필연적으로 높은 비용 투자가 따라 옵니다. 또한 이중화 구조의 인프라는 구성과 유지보수가 어렵기 때문에 전문가의 지원이 필수적으로 필요하게 됩니다. 이러한 관리 비용까지 지속적으로 증가하기 때문에 기업이 데이터센터를 운영하는 것은 매우 어려운 과제가 되는 것입니다.
다양한 관리 시스템¶
인프라가 많아지면 많아질수록 다양한 벤더의 제품이 설치됩니다. 그리고 서버, 네트워크 장비, 스토리지 등 다양한 벤더의 제품에 따라 서로 다른 관리 인터페이스를 제공합니다. 관리 인터페이스는 경우에 따라 단순한 CLI 방식부터 웹 기반 인터페이스까지 다양한 형태로 제공됩니다. 이러한 다양성으로 인해 실제 인프라를 관리시스템을 통해 관리하는 것은 매우 어려운 일이 됩니다.
결국 다양한 관리 인터페이스는 실제로는 벤더의 전문 엔지니어가 참여하여 유지보수를 하기 위한 인터페이스이지, 데이터센터 관리 엔지니어가 관리할 수 있는 인터페이스가 아닙니다. 때문에 기업 데이터센터 관리는 더욱 어려워지고, 복잡해지며, 전문가의 참여가 필수적이기 때문에 높은 비용 투자의 문제가 발생할 수 밖에 없습니다.
결론¶
기업의 데이터센터는 오래전부터 기업의 서버실로 시작해 전산실, 그리고 데이터센터로 변화하고, 현재는 특정 기업을 위한 데이터센터가 아니라 인터넷데이터센터, 클라우드데이터센터 등 퍼블릭 사용자를 위한 데이터센터로 그 역할이 확대되고 있습니다. 그리고 이러한 데이터센터의 역할은 앞으로 더욱 중요해 질 것입니다.
기업이 데이터센터를 운영하는 방법을 정리해 보면 다음과 같습니다.
- 직접 운영 : 건물, 상면, 전원, 공조, 서버 등의 인프라를 모두 직접 구성하고 운영
- 퍼블릭 데이터센터에 상면만 임대
- 퍼블릭 데이터센터 : 건물, 상면, 전원, 공조, Rack
- 기업 : 서버 인프라 구성, 인프라 관리, 서비스 개발/운영
- 퍼블릭 데이터센터에 인프라 전체를 임대
- 퍼블릭 데이터센터 : 건물, 상면, 전원, 공조, Rack, 서버 인프라 구성, 인프라 관리
- 기업 : 서비스 개발/운영
위와 같은 운영 방법 중 어떠한 방법을 사용하더라도, 위에서 제시한 문제, 즉 복잡한 인프라 구성, 인프라의 경직성, 고비용 구조, 관리체계의 문제 등이 모두 발생합니다. 또한 필요에 따라 위의 운영 방식을 변경해야 할 경우도 있습니다. 즉, 직접 운영에서 임대로, 또는 임대에서 직접 운영으로 변경될 수 있는 것입니다. 이러한 전략적 결정에 있어서 데이터센터가 가지는 문제점은 많은 비용 투자의 원인이 되고 전략적 의사결정을 미루게 되는 원인이 됩니다.
따라서 급변하는 IT 환경에 능동적으로 대응하고, 효율적인 데이터센터 운영을 위해서는 이러한 데이터센터의 문제점을 해결할 수 있는 솔루션이 필요한 것입니다.